Agent Memory: Characterization and System Implications of Stateful Long-Horizon Workloads
智能体记忆:长时状态工作负载的特性与系统启示
🧭 智能体记忆系统设计与部署特征分析 ★ 深度解读
Stanford University · Independent Researcher · MICAS, KU Leuven · Massachusetts Institute of Technology
首次系统表征智能体记忆工作负载,揭示构建成本主导生命周期,并提出面向部署的十项建议。
📌 工作参考价值(5 点)
- 业务选型时不能只看准确率,需将构建成本、查询延迟、存储增长、能耗等系统指标纳入决策。
- 将记忆构建作为后台批处理任务,与在线查询分离调度,避免抢占GPU资源影响延迟;根据范式选择合适的批大小。
- 长生命周期智能体必须引入主动裁剪/遗忘策略,否则存储和token成本会非线性增长;使用合并式记忆系统可抑制膨胀。
- 根据业务场景的查询频率和历史稳定程度选择记忆范式:高查询率、稳定历史选重构建轻查询系统(如Mem0);持续流入、低查询率选轻构建系统(如BM25)。
- 部署LLM控制流的记忆系统时,必须设置最大工具调用轮次或超时,防止检索/构建尾部延迟不可控。